4DMemory: Benchmarking Long-Horizon Spatiotemporal Memory with Harness-Augmented Agents
4DMemory：长时程时空记忆基准与 Harness 增强 Agent
🧭 长视频时空记忆评测与 Agent 增强
Nanyang Technological University · Token Foundry, Alibaba · The Chinese University of Hong Kong · Institute of Neuroscience, Chinese Academy of Sciences · University of Chinese Academy of Sciences
发布900小时长视频基准与4DMemory Harness，使13个基础模型长时程时空推理提升超50%
📌 工作参考价值（4 点）
- 用户长期行为序列（浏览/点击视频、直播切片）可借鉴「感知记忆+工具检索」分离：将原始行为编码成可索引的时空片段，按需用专用工具抽取关键事件，避免把所有帧塞进长上下文，降低遗忘与幻觉。
- 4DMemory Harness 的多技能+工具模型编排可迁移到电商多模态 Agent：把商品识别、场景理解、OCR、时序定位拆成小模型/工具，由主 LLM 调度，并通过 model-specific RAG 为不同基底模型定制检索策略，论文中所有模型提升超50%，稳定性可复用。
- 长时程评测设计值得借鉴：构造跨数小时、数天的细粒度问题（例如商品在第几分钟出现、促销文案变化顺序），压测 Agent 长期记忆与召回模块，提前暴露长会话信息丢失问题。
- 如业务含直播回放、商品讲解视频或广告素材库，可复用 LongVideo 构建思路，标注时空问答对，评估多模态检索和推荐理由是否准确引用正确时刻。